One prompt is not enough: Instruction Sensitivity Undermines Embedding Model Evaluation
一个提示不够：指令敏感性破坏嵌入模型评估
🧭 嵌入模型评估的指令敏感性
Aarhus University
指令嵌入模型性能对提示措辞高度敏感，单点评估掩盖真实分布，排行榜排名不稳健。
📌 工作参考价值（4 点）
- 在电商搜索、推荐系统中使用指令嵌入模型时，不能仅依赖官方给出的单个默认提示，应针对同一任务编写多个语义等价的指令变体，测试性能分布，避免因提示波动导致线上效果恶化。
- 构建内部基准测试时，加入提示稳健性指标：除了报告平均得分，还应报告标准差或绘制箱线图，识别易受提示影响的模型，选择更稳定的模型上线。
- 在 A/B 测试或模型选型阶段，刻意用不同的指令措辞评估多个候选模型，防止选出一个只在特定提示下表现好但泛化差的模型。
- 工程上，可预先存储多组任务指令，在推理时随机选择或按历史效果加权，降低单点提示带来的方差，提升系统鲁棒性。